扫描下载APP
其它方式登录
OpenAI早期Scaling Law论文存在致命bug，导致全球AI行业误判模型扩展策略，盲目堆参数而忽视数据配比，造成万亿级算力浪费；DeepMind研究员Diogo Almeida揭露该错误，指出其源于固定token预算、不当学习率衰减及过度泛化结论，引发对AI发展路径的深刻反思。
Lilian Weng发布拖更三年的长文《Scaling Laws, Carefully》，系统揭示AI领域核心规律——缩放定律（Scaling Laws）的多重脆弱性：OpenAI与DeepMind结论相悖源于参数统计口径差异和实验规模不足；Chinchilla最优配比公式存在损失函数取均值导致优化器提前终止、关键参数四舍五入放大误差等方法论缺陷；同时指出高质量数据即将枯竭，经典定律前提崩塌，行业正转向强化学习、测试时计算和合成数据等新路径。
Transformer联合发明人Łukasz Kaiser与三位挑战者展开AI架构辩论，直面Transformer在长上下文、记忆、推理、O(n²)复杂度和持续学习等方面的五大缺陷；Kaiser强调其不可替代性源于卓越的缩放曲线和工程生态，但承认若后Transformer架构证明更优缩放性能，将开启新纪元。
